世界地球日 | 与小牛“译”起，修复我们的地球
据美国有线电视新闻网（CNN）报道，今年日本樱花季于三月下旬就在多市达到“峰值”，然而，看似美丽的背后却隐藏着更加残酷的事实：气候变暖。气候变暖将会导致冰川融化、海平面上升，形成飓风、海啸等灾难，临海国家或将被海水吞没，甚至全球生态系统平衡都会受到威胁。
导致气候变暖的主要原因之一就是碳排放，而AI技术带来的碳排放已经达到了不容忽视的地步；人工智能的主要进步主要依赖于模型的规模化扩展，但越来越强大的 AI 模型对电力的吞噬也愈发肆无忌惮。
NLP 4大顶尖模型的训练用时、能耗效率和碳排放（来源：ACL 2019）
OpenAI的GPT-3模型也很好地说明了这种现象。这套模型中包含多达1750亿个参数，训练时长更是达到数千天。这类模型的构建与部署都需要消耗大量能源，并由此产生巨量碳排放。这种在AI技术领域的“越大越好”的偏执精神很可能在未来几年给自然环境造成重大破坏。
小牛翻译在专注于机器翻译能力升级的同时，也持续探索如何从自身出发减少地球能源的消耗。模型速度的提升有助于降低能源的消耗，从而降低碳排放量。
近年来小牛翻译研究团队在模型效率优化方面做了大量工作，其中被AAAI2021录用的长文An Efficient Transformer Decoder with Compressed Sub-layers通过改进Transformer模型结构，提高了不同子层的并行度。WMT的14个任务表明该方法在损失少量性能的情况下在GPU上获得了2.42倍的训练加速，从而可以极大地节约训练服务器的电能消耗。
小牛翻译研究团队的论文“Shallow-to-Deep Training for Neural Machine Translation”被收录到国际自然语言处理领域学术顶会EMNLP2020，针对深层Transformer进行解释分析，提出一种由浅入深的训练方法来加速训练，同时该方法可以将已经收敛的模型扩展到更深，不需要重新训练，在大规模数据下，24层的Big模型能加速至60%。
修复地球，减少碳排放量，森林碳储存十分重要。但自2015年以来，每年仍有1000万公顷森林被转换为其他用途，全球热带森林资源正在被毁坏殆尽。“无纸化”的出现为保护森林带来的曙光，还能够高效助力“中国2060年实现碳中和”目标的实现。小牛翻译一直在无纸化方面贡献着自己的力量，详情看下图！
01.文档翻译-响应无纸化办公
<<向左滑动>>
02.会议记录-提高办公效率
<<向左滑动>>
03.跨国旅游-告别纸质词典
<<向左滑动>>
越来越强大的人工智能技术正在改变这个世界，但背后所消耗的能源成本更应该引起重视，这就要求我们将人工智能重新引导到持续性更强、生产力水平更高的正确轨道上，小牛翻译不仅会坚持打造最好的机器翻译“发动机”，还会持续为保护我们的赖以生存的家园，修复我们的地球贡献自己的力量。
关于我们
专注于机器翻译技术基础研究41年，拥有百余人的机器翻译产学研团队，自主研发以中文为核心的NiuTrans机器翻译系统，支持304种语言随心互译。通过丰富的应用与功能，为用户提供机器翻译服务全栈式解决方案，致力于为机器翻译产业化应用提供基础平台，帮助企业级用户在国际业务中消除语言障碍。
往期精彩